Năm 186, Hàn Toại mang quân đánh quận Lũng Tây, thu hàng thái thú Lý Tương Như rồi cùng nhau đánh giết Cảnh Bỉ. Cảnh Bỉ chết, viên tư mã dưới quyền là Mã Đằng đầu hàng Hàn Toại. Từ đó hai người cộng tác với nhau cát cứ ở Lương châu.[5]

Có Mã Đằng tham gia, lực lượng Hàn Toại càng mạnh. Năm 188, ông cùng Mã Đằng mang quân bao vây Trần Thương.[6] Hán Linh Đế sai Hoàng Phủ Tung và Đổng Trác huy động rất nhiều quân đến mới giải vây được. Mã Đằng và Hàn Toại rút quân về.

Năm 189, Hán Linh Đế chết, Hán Thiếu Đế lên thay. Thái thú Hà Đông là Đổng Trác được Hà Tiến triệu vào Lạc Dương dẹp hoạn quan, nhân Hà Tiến chết đã trở thành người thao túng nhà Hán.

Mã Đằng và Hàn Toại ở Lương châu bất bình với Đổng Trác bèn khởi binh chống lại. Lưu Yên làm Châu mục Ích châu ở Tây Xuyên có ý định ly khai triều đình, bèn hưởng ứng với Mã Đằng. Tam Quốc chí cho biết: "Hàn Toại và Mã Đằng khởi loạn ở Quan Trung mấy lần cùng cha Chương là Yên trao đổi tin tức qua lại".[7] Lưu Yên nhân đó ngầm sai người vào Trường An sai con là Lưu Đảng và Lưu Phạm làm nội ứng. Việc bị lộ, Đổng Trác bèn giết chết Lưu Đảng và Lưu Phạm rồi mang quân ra đối địch, đánh tan liên quân Ích – Lương của Mã Đằng và Lưu Yên.[8]

Sau thất bại đó, Lưu Yên cố thủ ở Tây Xuyên, Mã Đằng theo lời dụ của Đổng Trác, quy phục nhà Hán, nhận lời cùng đánh các chư hầu Sơn Đông.[9] Đổng Trác bị các chư hầu do Viên Thiệu cầm đầu đánh tới Lạc Dương, thua chạy về Trường An. Năm 192, Mã Đằng cùng Hàn Toại mang quân vào Trường An theo họ Đổng, thì Đổng Trác đã bị Lã Bố giết chết. Bộ tướng của Trác là Lý Thôi đánh đuổi Lã Bố, chiếm Trường An, giữ Hán Hiến Đế, phong cho Mã Đằng làm Chinh tây tướng quân sai giữ huyện Mi, Hàn Toại làm Trấn tây tướng quân sai giữ Kim Thành.

Cuối năm 193, Hàn Toại và Mã Đằng mang quân tấn công kinh thành Trường An. Quân Mã – Hàn tiến đến quán Trường Bình cách Trường An 50 dặm. Lý Thôi sai Quách Dĩ và Phàn Trù ra cự địch, sau đó lại điều cháu là Lý Lợi ra giúp sức.

Kết quả quân Quách Dĩ và Phàn Trù đánh lui được Mã Đằng và Hàn Toại. Mã và Hàn phải triệt thoái về Tây Lương. Trên đường truy kích, Phàn Trù đuổi kịp Hàn Toại nhưng không bắt giữ mà lại bắt chuyện rồi thả đi. Vì việc này lộ ra với Lý Thôi, Lý Thôi bèn giết chết Phàn Trù.